Cuando OpenAI reveló en octubre que había encontrado un dispositivo de grabación colocado en una sala de conferencias ejecutiva, varios exempleados tuvieron la misma reacción: no les sorprendió.
Incluso antes de que OpenAI lanzara ChatGPT a finales de 2022, algunos empleados de la compañía expresaron internamente su preocupación por las prácticas de seguridad de la empresa, según cinco personas familiarizadas con el asunto. Los empleados compartieron sus inquietudes con los altos directivos de OpenAI y la junta directiva, indicaron estas personas, añadiendo que algunos empleados concluyeron, tras dichas interacciones, que la dirección estaba más centrada en mantenerse al día con competidores como Google y Anthropic que en la seguridad.
Según estas fuentes, los trabajadores argumentaron que los controles de OpenAI eran tan laxos que personas ajenas a la empresa, incluidos gobiernos extranjeros, podían obtener información confidencial sobre la tecnología del laboratorio de inteligencia artificial con relativa facilidad. Por ejemplo, cualquier persona en OpenAI con acceso a su código podía ver los detalles técnicos subyacentes a muchos proyectos de la compañía.
Según dos personas familiarizadas con el asunto, OpenAI ha comenzado a modificar su estrategia para abordar los problemas de seguridad. Thibault Sottiaux, un alto ejecutivo a cargo del desarrollo de productos, se ha hecho cargo recientemente de una iniciativa interna para proteger los sistemas internos de OpenAI. En agosto, Sottiaux, conocido como «Tibo», reasignó a una cuarta parte de los ingenieros de producción de OpenAI para mejorar su infraestructura de seguridad, según una de las fuentes.
Las advertencias internas, que incluyen años de quejas de empleados a la dirección sobre vulnerabilidades internas —cuyos detalles no se habían divulgado previamente—, ponen de manifiesto la tensión existente en el sector de la IA. Desde el lanzamiento de ChatGPT a finales de 2022, la tecnología de IA se ha convertido en un activo estratégico para Estados Unidos, lo que presiona a las empresas estadounidenses a proteger su tecnología de la competencia extranjera.
Sin embargo, añadir capas de seguridad también puede retrasar el avance de la tecnología de IA y posiblemente complicar los planes de OpenAI y Anthropic para realizar ofertas públicas iniciales masivas que las convertirían en algunas de las empresas más valiosas del mundo.
Will DePue, exinvestigador de OpenAI que renunció a la compañía en abril de este año, escribió en una publicación en X que, con una competencia tan intensa, los líderes de IA «no pueden sacrificar la velocidad por la seguridad. Para ellos es más importante avanzar rápido que estar seguros, incluso frente a nuestros mayores adversarios nacionales».
Al ser consultada sobre las inquietudes de los empleados y su opinión de que la dirección no actuó ante estos problemas, la portavoz de OpenAI, Elana Widmann, afirmó que OpenAI es una de las organizaciones más atacadas del mundo. Por ello, la empresa invierte considerablemente en su programa de seguridad para protegerse contra ataques internos, ciberdelincuentes y estados, añadió.
“Proteger nuestra tecnología, nuestros datos y a nuestra gente es una responsabilidad que nos tomamos muy en serio y un asunto de importancia nacional”, declaró Widmann. “Las medidas que hemos tomado recientemente demuestran que este programa está cumpliendo su función: identificar riesgos y responder con decisión. Seguiremos reforzando nuestras defensas a medida que evolucionen la tecnología y las amenazas”.
Investigación ampliamente disponible
El 13 de octubre, el Departamento de Justicia informó que agentes federales estadounidenses arrestaron a un ciudadano saudí y lo acusaron de instalar un dispositivo de grabación de audio oculto , disimulado en papel higiénico, en una sala de conferencias ejecutiva. Abdulrahman Alfozan, de 35 años, era ingeniero de OpenAI en ese momento.
Según consta en un documento judicial, Alfozan también utilizó una herramienta de IA destinada a los empleados de OpenAI para encontrar documentación interna sobre ejecutivos que visitaban Arabia Saudita y sobre qué funcionarios de OpenAI tenían más probabilidades de asistir a reuniones con ministros saudíes. Alfozan mantenía contacto regular con un miembro de la realeza saudí que intentó reclutarlo para un nuevo proyecto de IA que se lanzaría en Arabia Saudita. Los abogados de Alfozan no respondieron a la solicitud de comentarios.
Algunos empleados llevan tiempo preocupados por la amplia disponibilidad de información dentro de OpenAI, según han declarado cinco personas familiarizadas con las prácticas de OpenAI.
Cualquier persona en OpenAI con acceso a su código podía ver los detalles subyacentes de muchos de los proyectos de la compañía, incluidos aquellos confidenciales ajenos al trabajo de un empleado. Esto se debía a que OpenAI almacenaba la mayor parte de su código en un único repositorio, conocido en la industria como «monorepo», según explicaron fuentes cercanas a la empresa. El monorepo era denso y complejo, lo que pudo haber disuadido a algunos posibles atacantes en el pasado. Ahora, los agentes de IA pueden examinar esa cantidad de material.
En el pasado, OpenAI mantenía gran parte de su documentación de investigación en GitHub y Slack, lo que generó preocupación entre algunos empleados ante la posibilidad de que agentes con malas intenciones pudieran encontrar información crucial, según indicaron las cinco personas consultadas. Sin embargo, una de las fuentes y OpenAI afirmaron que la empresa ha restringido el acceso a información confidencial.
OpenAI hizo hincapié en que gran parte de su trabajo más sensible se encuentra en repositorios de código separados con estrictos controles de acceso. Asimismo, indicó que el repositorio único no contiene todo su código ni detalles críticos de los modelos de la compañía, incluidos los valores numéricos que determinan el comportamiento de un modelo, conocidos como ponderaciones del modelo.
Otro problema es que OpenAI no realizaba revisiones de seguridad periódicas de sus herramientas internas, como los llamados entornos aislados (sandboxes), donde los investigadores someten a prueba los nuevos modelos, según tres personas familiarizadas con las prácticas de la empresa. Los empleados solían modificar estas herramientas para su trabajo, pero estos cambios no siempre se probaban para detectar problemas de seguridad, lo que las dejaba potencialmente vulnerables a ataques externos, añadieron las tres personas.
La compañía afirmó tener un enfoque sólido en materia de seguridad bajo la dirección de su director de seguridad de la información, Dane Stuckey, quien se unió a la empresa en octubre de 2024. OpenAI indicó que ahora realiza revisiones de seguridad periódicas de sus herramientas internas.
Debate abierto versus seguridad
OpenAI no es la única empresa de inteligencia artificial que se enfrenta a problemas de seguridad.
En enero, un jurado federal en San Francisco declaró culpable a un exempleado de Google que fue arrestado en marzo de 2024 por cargos de robo de miles de páginas de información confidencial sobre la tecnología de IA de Google en nombre de China.
A finales de octubre, la empresa emergente de ciberseguridad Cathedral Systems anunció haber hackeado los sistemas de Anthropic y haber accedido a canales de Slack donde los empleados discutían detalles confidenciales de sus modelos. Un portavoz de Anthropic declaró que los datos a los que se accedió incluían información de contacto comercial de clientes y socios, así como registros básicos de cuentas de usuario. El director ejecutivo de Cathedral no respondió a la solicitud de comentarios.
OpenAI y Anthropic han intentado mantener una cultura de investigación más abierta para atraer empleados y fomentar la creatividad que pueda conducir a avances significativos. El campo de la IA tiene sus raíces en el ámbito académico, donde los científicos del aprendizaje automático han debatido abiertamente sobre sus investigaciones.
Según cinco personas, algunos empleados de OpenAI están cada vez más preocupados por este enfoque a medida que la IA se vuelve más capaz.
En 2023, Leopold Aschenbrenner, entonces investigador de OpenAI, escribió un memorando interno titulado «OpenAI es el principal laboratorio de IA de China» en el que expresaba su preocupación de que China pudiera infiltrarse en OpenAI y estudiar su tecnología, según tres personas familiarizadas con el asunto.
Más adelante ese mismo año, Aschenbrenner compartió ese memorándum con algunos miembros de la junta directiva, después de que un intruso pirateara OpenAI y robara información sobre su modelo GPT-4. OpenAI afirmó que el pirata informático solo tuvo acceso a los canales de Slack disponibles para toda la empresa.
Este verano resurgieron las preocupaciones sobre la seguridad en OpenAI cuando agentes de OpenAI que estaban siendo probados piratearon la empresa de IA Hugging Face, un incidente que provocó el escrutinio de funcionarios estatales, locales y federales, incluida la Casa Blanca.
La empresa de ciberseguridad Hacktron AI informó que, en julio, tres de sus investigadores utilizaron un modelo de IA rival de Anthropic para infiltrarse en cuentas de ChatGPT pertenecientes a varios empleados de OpenAI y obtener acceso a algunos sistemas internos de OpenAI, incluido su monorepo. El incidente puso de manifiesto cómo la IA avanzada puede ahora poner en riesgo de ataque a las propias empresas de IA.
Widmann, de OpenAI, dijo que la compañía agradeció a los investigadores por compartir sus hallazgos y que tomó medidas para minimizar el riesgo de ataques similares en el futuro.
Tras solicitar comentarios para este artículo, OpenAI declaró el lunes en una publicación de blog que está planeando su «próxima ronda de medidas de seguridad interna» para reforzar sus defensas.
Fuente: reuters
